Are Performance-Optimization Benchmarks Reliably Measuring Coding Agents?
性能优化基准对编码代理的可靠性审计
🧭 性能优化 · 基准审计
Singapore Management University · Shanghai Jiao Tong University
审计三大代码优化基准，发现运行时波动、评分规则偏差和任务饱和导致代理排名不可靠
📌 工作参考价值（4 点）
- 构建电商/Agent的离线评估流水线时，需确保运行环境一致，多次重复实验以控制随机波动，类似本文对跨机器回放稳定性的检查
- 评分规则对最终排名影响巨大，应避免像SWE-efficiency那样给极端任务过高权重（如最差任务占58%–83%分数），导致整体分数被少数任务主导
- 当多个模型/代理已在大部分任务上超过基线（如99.8%任务击败未优化代码），聚合排名掩盖剩余差距，应转向逐任务诊断，识别仍存在可靠改进空间的任务
- 在报告Agent能力时，可借鉴「可重放有效任务」的概念，只保留那些参考补丁在不同环境下运行稳定的任务，以提供高信噪比的评估信号